An evaluation framework for writing assistance systems: Application to VITIPI

In this paper we propose an evaluation framework for writing assistance systems. The variety of such systems makes it difficult for potential users to select the most convenient one according to their particular needs. First of all, we wish list the main features of existing writing assistance systems. Then, we will explain the evaluation framework which consists of two parts: The first one deals with systems features, listing all the abilities offered by such systems. The second one tries to gauge the systems efficiency. Going further, the evaluation framework will be used to evaluate the VITIPI system, the evaluation results will be exposed. Finally, the evaluation framework limitations will be pointed out and different ways for improving the evaluation framework quality will be presented. Résumé : L’objectif de ce papier est de proposer un modèle d’évaluation pour les systèmes d’assistances à l’écriture. De tels systèmes sont très nombreux de par le monde et les utilisateurs potentiels sont très désorientés pour en choisir un qui soit le plus adapté possible à leurs besoins particuliers. Nous dresserons tout d’abord la liste des caractéristiques principales des systèmes existants. Nous expliquerons ensuite le modèle d’évaluation qui est composé de deux parties. La première traite des caractéristiques des systèmes en dressant la liste des fonctionnalités que l’on peut trouver. La seconde essaye de mesurer l’efficacité des systèmes. Le modèle d’évaluation sera explicité en prenant pour exemple le système VITIPI dont nous exposerons les résultats. Nous discuterons sur les limitations de notre modèle d‘évaluation. Pour conclure nous verrons comment améliorer notre modèle d’évaluation.